"""
数据计算 map方法 遍历进行计算
"""
from pyspark import SparkConf, SparkContext

# 注意 windows环境可能需要设置 指定python的编译器↓
# import os
# os.environ["PYSPARK_PYTHON"] = "windows python编译器地址"

conf = SparkConf().setMaster("local[*]").setAppName("test_spark_app")
sc = SparkContext(conf=conf)

rdd = sc.parallelize([1, 2, 3, 4, 5])


# 使用rdd.map方法对数据继续计算，传入一个计算逻辑的函数
def func(data):
    return data * 10


# 匿名函数当作参数传入
rdd2 = rdd.map(lambda element: element * 10).map(lambda element: element + 5)
# rdd2 = rdd.map(func)

# 获取rdd数据
print(rdd2.collect())
sc.stop()
